HN
Hacker News • 42일 전
IMP 5
모델 굽기: LLM 학습에 대한 비유
익스트림 프로그래밍의 창시자로 유명한 Kent Beck이 LLM 학습 과정을 제빵에 비유해 설명하는 글입니다. 프리트레이닝(pre-training)은 냉장 발효처럼 큰 배치로 한 번에 진행되는 대규모 투자이며, 포스트트레이닝(post-training)은 작은 배치로 반복하는 과정에 비유됩니다. 모델이 '숫자의 집합'이며 프로그래밍과는 전혀 다른 방식으로 만들어진다는 점을 소개합니다.
LLM 훈련 Kent Beck 프리트레이닝